import jdk.vm.ci.code.site.Site;

import java.util.List;


public class Web {
    //定义爬虫的site对象
    private Site site=Site.me().SetSleepTime(100).setTimeOut(1000).setRetryTimes(5);
    /**
     * 解析页面
     * @parpm page
     */
    public void process(Page page){
        Html html = page.getHtml();
        System.out.println("网页:"+html);
        List<String> all=html.links().all();
        System.out.println(all);
    }

    public Site getSite() {
        return site;
    }

    public static void main(String[] args){
        WebmagicMain webmagicMain=new WebmagicMain();
        Spider spider=Spider.create(webmagicMain);
        spider.addUrl("http://www.dangjian.cn/");
        spider.run();
    }
}
